Là một trong 8 tỉnh nội địa của Nhật Bản, Gunma là tỉnh xa nhất về phía Tây Bắc của đồng bằng Kantō. Ngoại trừ vùng trung tâm và vùng đông bắc, nơi mà có dân số tập trung phần lớn, thì đa số diện tích còn lại là núi. Gunma giáp ranh với tỉnh Niigata và Fukushima ở phía Bắc, với tỉnh Tochigi ở phía Đông, tỉnh Nagano ở phía Tây và tỉnh Saitama ở phía Nam.

Một vài ngọn núi lớn của Gunma bao gồm núi Akagi, núi Haruna, núi Myogi, núi Nikkō-Shirane và núi Asama, trong đó núi Asama nằm ở biên giới với tỉnh Nagano. Các con sông lớn bao gồm sông Tone, sông Agatsuma và sông Karasu.